Pada 1961, beliau bertanding kerusi di MIC Selangor tetapi kalah. Tahun berikutnya, beliau dilantik menjadi Pengerusi Biro Kebudayaan MIC. Pada 1967, beliau dilantik memegang jawatan Setiausaha MIC Selangor dan pada 1972, beliau ditauliahkan sebagai seorang arkitek. Dua tahun kemudian, beliau bertanding dan memenangi kerusi Parlimen Sungai Siput.

Dengan sokongan dan popularitinya dalam parti, beliau telah dipilih sebagai Naib Presiden MIC. Beliau mengalahkan pencabarnya, S. Subramaniam, yang ketika itu Setiausaha Agung MIC dengan majoriti 26 undi. Kemudian, beliau dilantik sebagai Timbalan Presiden dan pada tahun 1979, beliau dilantik menjadi Presiden MIC berikutan kematiann Tan Sri Manickawasagam.

Beliau dipilih menganggotai kabinet pertama kali pada 1979 dan dilantik sebagai Menteri Kementerian Perumahan dan Kerajaan Tempatan. Dari tahun 1979 hingga 1989, beliau dilantik sebagai Menteri Kerja Raya. Kemudian dari tahun 1989 hingga 1995, beliau dilantik sebagai Menteri Tenaga, Komunikasi dan Pos. beliau memegang semula jawatan sebagai Menteri Kerja Raya sehingga 2008 berikutan kekalahan beliau pada pilihan raya umum. Jawatan beliau sebagai Menteri kabinet mewakili parti MIC digantikan oleh setiausaha parti tersebut, Dato' Dr. S. Subramaniam sebagai Menteri Sumber Manusia.

Berikutan berlakunya peristiwa Hindraf, Samy Vellu telah pergi ke India untuk menerangkan perkara sebenar kepada Ketua Menteri Tamil Nadu, M.Karunanidhi tetapi Ketua Menteri tersebut enggan berjumpa dengannya kerana menyokong Hindraf.[perlu rujukan]

Beliau juga pernah memecat beberapa pemimpin parti tersebut. Antaranya termasuklah bekas Naib Presiden, Tan Sri M. G. Pandithan kerana dikatakan telah menggunakan perkataan perkauman. Selain itu, beliau juga pernah menjadi punca kekalahan Timbalan Presiden Parti tersebut, Dato' S. Subramaniam dengan menyokong Dato' G. Palanivel untuk bertanding jawatan tersebut.[perlu rujukan]

Perdana Menteri, Tun Dr.Mahathir Mohamad ketika ditemuramah telah menyatakan bahawa beliau tidak dapat menggugurkan Samy Vellu daripada kabinetnya kerana khuatir akan mendapat tentangan daripada masyarakat India khususnya ahli-ahli MIC.[perlu rujukan]

Kekalahan Samy Vellu di Parlimen Sungai Siput telah dijangkakan oleh ramai pihak. Ada yang mengatakan bahawa ini berpunca daripada peristiwa Hindraf.[perlu rujukan] Bagaimanapun, sebelum pilihan raya diadakan, Samy Vellu dikatakan berkata: "Sapa berani lawan sama saya. Ampat puluh lima kali masuk tanding, saya juga minnang (menang)".[2] Akan tetapi selepas keputusan pilihan raya diumumkan, beliau dikatakan berkata pula: "Rakyat marah sama BN, bukan sama saya".[2] Dilihatkan daripada segi yang lain, komen itu membayangkan pengakuan bahawa kemenangannya dalam pilihan raya disebabkan oleh Barisan Nasional dan bukan kerananya, iaitu "rakyat pilih BN, bukannya".